Например, Бобцов

МЕТОД ВЫБОРА ГИПЕРПАРАМЕТРОВ В ЗАДАЧАХ МАШИННОГО ОБУЧЕНИЯ ДЛЯ КЛАССИФИКАЦИИ СТОХАСТИЧЕСКИХ ОБЪЕКТОВ
 

Аннотация:

Предмет исследования. Предложен простой и эффективный метод выбора гиперпараметров при решении классификационной проблемы методами машинного обучения. Метод работает с любыми гиперпараметрами вещественного типа, значения которых лежат внутри известного вещественного параметрического компакта. Метод. Внутри параметрического компакта генерируется случайная выборка (пробная сеть) сравнительно небольшого объема, для каждого элемента которой вычисляется эффективность выбора гиперпараметров согласно специальному критерию. Эффективность оценивается величиной некоторого вещественного скаляра, который принципиально не зависит от порога классификации. Таким образом, формируется выборка регрессии, регрессорами которой являются случайные наборы гиперпараметров из параметрического компакта, а значениями регрессии – соответствующие этим наборам значения показателя эффективности классификации. На основании полученной выборки строится непараметрическая аппроксимация этой регрессии. На следующем этапе, используя метод оптимизации Нелдера–Мида, определяется минимальное значение построенной аппроксимации для регрессионной функции на параметрическом компакте. Аргументы минимального значения регрессии являются приближенным решением поставленной задачи. Основные результаты. В отличие от традиционных, предложенный подход основан на непараметрической аппроксимации функции регрессии: набор гиперпараметров — значение показателя эффективности классификации. Особое внимание уделено выбору критерия качества классификации. За счет использования аппроксимации упомянутого типа имеется возможность исследования поведения показателя эффективности вне значений пробной сетки. Как следует из проведенных экспериментов на различных базах данных, предложенный подход обеспечивает существенный прирост эффективности выбора гиперпараметров по сравнению с базовыми вариантами и одновременно сохраняет практически приемлемую работоспособность даже для малых значений мощности пробного множества. Новизна подхода заключена    в одновременном использовании: непараметрической аппроксимации для функции регрессии, которая связывает значения гиперпараметров с соответствующими им величинами критерия качества; выборе критерия качества классификации и метода поиска глобального экстремума этой функции. Практическая значимость. Предложенный алгоритм выбора гиперпараметров может быть использован в любых системах, основанных на принципе машинного обучения. Например, в системах управления технологическими процессами, биометрических системах и системах машинного зрения.

Ключевые слова:

Постоянный URL

Статьи в номере

Содержание © 1993–2024 Университет ИТМО
Разработка © 2015 Университет ИТМО